Holt sinh ra tại Quận Marin, California, là con trai của June (DeRozario) và Lester Don Holt, Sr.[8][9] Ông bà ngoại của ông là người gốc Jamaica.[10] Ông ngoại của ông có nửa dòng máu Anh và nửa dòng máu Ấn Độ.[11]

Ông tốt nghiệp Trường Trung học Cordova ở Rancho Cordova vào năm 1977[12] và học chuyên ngành chính phủ tại Đại học bang California, Sacramento, mặc dù ông chưa từng tốt nghiệp.[13][14] Vào năm 2012, Holt có nói với tạp chí American Profile: "Công việc trong ngành phát sóng đầu tiên của tôi thực chất là làm DJ tại một đài truyền hình nhạc đồng quê ở miền Tây. Lần duy nhất tôi đã có thể có công việc toàn thời gian là nếu tôi chịu đi đưa tin." Holt đã giữ công việc tại đài phát thanh trong suốt những năm đại học.[15]